แท็ก

#consumer GPU

3 บทความ

llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว
เครื่องมือนักพัฒนา

llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว

llama.cpp ปล่อย v0.4.0 เมื่อ 4 ก.ย. 2026 — เป็นเวอร์ชัน minor ที่สี่ภายใน 18 วัน เพิ่ม --lazy-mode ที่อ่านเทนเซอร์ขนาดใหญ่ผ่าน mmap แทนการโหลดทั้งก้อน (ลด peak RAM 16% แลกกับ tg ช้าลง 8-11%), --n-cpu-ffn สำหรับโมเดล dense และ sparse flash attention ที่ให้ 2.03 เท่าที่คอนเท็กซ์ 524K

· อ่าน 6 นาที
SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว
เครื่องมือนักพัฒนา

SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว

SGLang ปล่อย v0.5.19 เมื่อ 5 ก.ย. 2026 เวลา 02:27 UTC รวม 786 PR จากผู้ร่วมพัฒนา 214 คน — เพิ่ม beam search, ทำ unified radix tree เป็นดีฟอลต์ของทุกโมเดล, เร่ง decode บน AMD MI355X ได้ถึง 1.52 เท่า และเพิ่มคู่มือรัน MiniMax-H3 บน GPU 24 GB กับ Qwen3.8-27B บน RTX 5090 แต่มี breaking change 14 ข้อที่ต้องอ่านก่อนอัป

· อ่าน 7 นาที
Unsloth Studio — UI โอเพนซอร์สแบบ no-code เทรน/รัน/ส่งออกโมเดลโลคอล เทรนเร็วขึ้น 2 เท่า ใช้ VRAM น้อยลง 70%
เครื่องมือนักพัฒนา

Unsloth Studio — UI โอเพนซอร์สแบบ no-code เทรน/รัน/ส่งออกโมเดลโลคอล เทรนเร็วขึ้น 2 เท่า ใช้ VRAM น้อยลง 70%

Unsloth AI เปิดตัว Unsloth Studio UI เว็บโอเพนซอร์สแบบ no-code สำหรับเทรน รัน และส่งออกโมเดลโอเพนบนเครื่องตัวเอง รองรับโมเดลข้อความ/วิชัน/เสียง/embedding เทรนเร็วขึ้น 2 เท่าด้วย VRAM น้อยลง 70% และ export เป็น GGUF ได้

· อ่าน 4 นาที